广泛观察到的神经缩放定律，其中错误是训练集大小，模型大小或两者兼而有之的误差，从而促进了深度学习的实质性改进。但是，仅通过缩放来进行这些改进就需要计算和能源成本相当大。在这里，我们专注于数据集大小的错误缩放，并展示在理论和实践中如何超越幂律的扩展，并将其减少到指数缩放，如果我们可以访问高质量的数据修剪指标，以将顺序排名为应该丢弃哪些培训示例以实现任何修剪的数据集大小。然后，我们通过经验修剪的数据集大小来测试这一新的指数缩放预测，并且实际上观察到了在CIFAR-10，SVHN和Imagenet训练的重新NET上的功率定律缩放性能。鉴于找到高质量的修剪指标的重要性，我们对ImageNet上十个不同的数据修剪指标进行了第一个大规模的基准测试研究。我们发现大多数现有的高性能指标尺寸较差，而对于ImageNet来说，最佳尺度是计算密集型的，并且需要为每个图像标签。因此，我们开发了一种新的简单，便宜和可扩展的自我监督的修剪指标，该指标与最佳监督指标相当。总体而言，我们的工作表明，发现良好的数据指标可能会为可行的途径提供可行的途径，从而大大改善神经缩放法律，从而降低现代深度学习的资源成本。

最大化模型准确性的常规配方是（1）具有各种超参数的多个模型，以及（2）选择在固定验证集中表现最佳的单个模型，从而丢弃其余部分。在本文中，我们在微调大型预训练的模型的背景下重新审视了该过程的第二步，其中微调模型通常位于单个低误差盆地中。我们表明，平均多种模型的权重以不同的超参数配置进行了微调通常提高准确性和鲁棒性。与传统的合奏不同，我们可能会平均许多模型，而不会产生任何其他推理或记忆成本 - 我们将结果称为“模型汤”。当微调大型预训练的模型，例如夹子，Align和VIT-G在JFT上预先训练的VIT-G时，我们的汤食谱可为ImageNet上的超参数扫描中的最佳模型提供显着改进。所得的VIT-G模型在Imagenet上达到90.94％的TOP-1准确性，实现了新的最新状态。此外，我们表明，模型汤方法扩展到多个图像分类和自然语言处理任务，改善分发性能，并改善新下游任务的零局部性。最后，我们通过分析将权重平衡和与logit浓度的性能相似与预测的损失和信心的平坦度联系起来，并经过经验验证这种关系。代码可从https://github.com/mlfoundations/model-soups获得。

为了在看不见的看不见和潜在的超出分布样品上，希望机器学习模型具有关于影响输入变化因子的变换的可预测响应。在这里，我们研究了几种类型的归纳偏见对这种可预测行为的相对重要性：数据的选择，他们的增强和模型架构。通过手工工程数据增强通常实现不变性，但是进行标准数据增强地址转换，用于解释实际数据的变化？虽然事先工作专注于合成数据，但我们在此尝试表征真实数据集，想象成的变化因素，并研究标准残余网络的不变性以及最近提出的视觉变压器关于这些因素的变化。我们展示了标准的增强依赖于平移和规模的精确组合，在翻译回顾大部分性能改进 - 尽管在卷积架构（如剩余网络）中建立的（近似）翻译不变性。事实上，我们发现规模和翻译不变性在剩余网络和视觉变压器模型中类似于它们显着不同的架构感应偏差。我们显示培训数据本身是不变性的主要来源，数据增强只会进一步增加所学到的InorRARCE。值得注意的是，在训练期间学习的修正因与我们发现的想象成分对齐。最后，我们发现想象成的变化的主要因素主要与外观有关，并且特定于每个班级。

自我监督学习的最新进展证明了多种视觉任务的有希望的结果。高性能自我监督方法中的一个重要成分是通过培训模型使用数据增强，以便在嵌入空间附近的相同图像的不同增强视图。然而，常用的增强管道整体地对待图像，忽略图像的部分的语义相关性-e.g。主题与背景 - 这可能导致学习杂散相关性。我们的工作通过调查一类简单但高度有效的“背景增强”来解决这个问题，这鼓励模型专注于语义相关内容，劝阻它们专注于图像背景。通过系统的调查，我们表明背景增强导致在各种任务中跨越一系列最先进的自我监督方法（MOCO-V2，BYOL，SWAV）的性能大量改进。 $ \ SIM $ + 1-2％的ImageNet收益，使得与监督基准的表现有关。此外，我们发现有限标签设置的改进甚至更大（高达4.2％）。背景技术增强还改善了许多分布换档的鲁棒性，包括天然对抗性实例，想象群-9，对抗性攻击，想象成型。我们还在产生了用于背景增强的显着掩模的过程中完全无监督的显着性检测进展。

Convolutional architectures have proven extremely successful for vision tasks. Their hard inductive biases enable sample-efficient learning, but come at the cost of a potentially lower performance ceiling. Vision Transformers (ViTs) rely on more flexible self-attention layers, and have recently outperformed CNNs for image classification. However, they require costly pre-training on large external datasets or distillation from pretrained convolutional networks. In this paper, we ask the following question: is it possible to combine the strengths of these two architectures while avoiding their respective limitations? To this end, we introduce gated positional self-attention (GPSA), a form of positional self-attention which can be equipped with a "soft" convolutional inductive bias. We initialize the GPSA layers to mimic the locality of convolutional layers, then give each attention head the freedom to escape locality by adjusting a gating parameter regulating the attention paid to position versus content information. The resulting convolutionallike ViT architecture, ConViT, outperforms the DeiT (Touvron et al., 2020) on ImageNet, while offering a much improved sample efficiency. We further investigate the role of locality in learning by first quantifying how it is encouraged in vanilla self-attention layers, then analyzing how it is escaped in GPSA layers. We conclude by presenting various ablations to better understand the success of the ConViT. Our code and models are released publicly at https://github.com/ facebookresearch/convit.

Large language models can perform new tasks in a zero-shot fashion, given natural language prompts that specify the desired behavior. Such prompts are typically hand engineered, but can also be learned with gradient-based methods from labeled data. However, it is underexplored what factors make the prompts effective, especially when the prompts are natural language. In this paper, we investigate common attributes shared by effective prompts. We first propose a human readable prompt tuning method (F LUENT P ROMPT) based on Langevin dynamics that incorporates a fluency constraint to find a diverse distribution of effective and fluent prompts. Our analysis reveals that effective prompts are topically related to the task domain and calibrate the prior probability of label words. Based on these findings, we also propose a method for generating prompts using only unlabeled data, outperforming strong baselines by an average of 7.0% accuracy across three tasks.

A Differentiable Neural Computer (DNC) is a neural network with an external memory which allows for iterative content modification via read, write and delete operations. We show that information theoretic properties of the memory contents play an important role in the performance of such architectures. We introduce a novel concept of memory demon to DNC architectures which modifies the memory contents implicitly via additive input encoding. The goal of the memory demon is to maximize the expected sum of mutual information of the consecutive external memory contents.

我们介绍了NLP社区Metasurvey的结果。从2022年5月到2022年6月，该调查引起了关于有争议的问题的意见，包括该领域的行业影响，对AGI和道德规范的关注。我们的结果将具体数字置于几个争议中：例如，受访者几乎完全将有关人工通用智能的重要性的问题分为一半，语言模型是否理解语言以及语言结构的必要性以及解决NLP问题的必要性。此外，调查提出了元问题，要求受访者预测调查响应的分布。这不仅使我们不仅可以深入了解NLP研究人员所拥有的各种信念，还可以揭示社区预测与现实不符的错误社会学信念。我们在各种问题上发现这种不匹配。除其他结果外，社区大大高估了其对基准的实用性的信念，以及扩展解决现实世界中问题的潜力，同时低估了其对语言结构，归纳偏见和跨学科科学重要性的信念。

金属伪影校正是锥形束计算机断层扫描（CBCT）扫描中的一个具有挑战性的问题。插入解剖结构的金属植入物在重建图像中导致严重的伪影。广泛使用的基于介入的金属伪像减少（MAR）方法需要对投影中的金属痕迹进行分割，这是一项艰巨的任务。一种方法是使用深度学习方法来细分投影中的金属。但是，深度学习方法的成功受到现实培训数据的可用性的限制。由于植入物边界和大量预测，获得可靠的地面真相注释是充满挑战和耗时的。我们建议使用X射线模拟从临床CBCT扫描中生成合成金属分割训练数据集。我们比较具有不同数量的光子的仿真效果，还比较了几种培训策略以增加可用数据。我们将模型在真实临床扫描中的性能与常规阈值MAR和最近的深度学习方法进行比较。我们表明，具有相对较少光子的模拟适用于金属分割任务，并且用全尺寸和裁剪的投影训练深度学习模型共同提高了模型的鲁棒性。我们显示出受严重运动，体素尺寸下采样和落水量金属影响的图像质量的显着改善。我们的方法可以轻松地在现有的基于投影的MAR管道中实现，以提高图像质量。该方法可以为准确分割CBCT投影中的金属提供新的范式。

捕获和归因于代码变更引起的生产中的性能回归很难；事先预测它们，甚至更努力。关于自动学习预测软件中性能回归的入门，本文介绍了我们在Meta研究和部署基于ML的回归预测管道时获得的经验。在本文中，我们报告了一项比较研究，其复杂性增加了四个ML模型，从（1）代码 - opaque，（2）单词袋，（3）基于转换的变压器到（4）基于定制变压器的模型，创造的超大通信器。我们的调查表明，性能预测问题的固有难度，其特征是良性对回归变化的不平衡。我们的结果还质疑了基于变压器的架构在性能预测中的一般适用性：基于基础的代码伯特方法的性能令人惊讶。我们高度定制的超大号架构最初实现了预测性能，这与简单的单词模型相当，并且仅在下游用例中优于它们。超级人员将其转移到应用程序的这种能力很少有学习示例提供了在Meta实践中部署它的机会：它可以作为预滤波器来解决不太可能引入回归的更改，从而缩小更改空间的变化空间搜索回归高达43％，比随机基线提高45倍。为了进一步洞悉超大号公园，我们通过一系列计算反事实解释进行了探索。这些突出显示了代码的哪些部分更改模型认为重要的，从而验证了学习的黑框模型。